случайный процесс, вероятностные характеристики которого можно изменять с помощью управляющих воздействий. Основная цель теории У. с. п. - отыскание оптимальных (или близких к ним) управлений, доставляющих экстремум заданному критерию качества. В простейшем случае управляемых марковских цепей одна из математических постановок задачи нахождения оптимального управления формулируется следующим образом. Пусть X^d = (x_n,P_x^d), n = 0, 1,..., - семейство однородных марковских цепей с конечным числом состояний Е = {0, 1, ..., N} и матрицами переходных вероятностей P_xy (d) = P_x^d {x₁ = у}, зависящих от параметра d, принадлежащего некоторому множеству управляющих воздействий D. Набор функций a = {а₀ (x₀), a₁ (x₀, x₁),...} со значениями в D называют стратегией, а каждую из функций a_n = а_п (х₀,..., х_п) - управлением в момент времени n. Каждой стратегии a отвечает управляемая марковская цепь X^a = (х_п,P_x^ɑ), n = 0, 1,..., где

P_x^ɑ (x₀, x₁..., х_п) = δ(х₀, х) Рх₀х₁ (a₀ (x₀))... Px_n-1x_n (a_n-1(x₀, x₁,..., x_n-1))

Пусть:

где функция f (d, х) ≥ 0 и f (d,0) = 0 (если точка {0} является поглощающим состоянием и f (d, x) = I, d ∈ D, x = 1,..., N, то V^a (x) есть матем. ожидание времени попадания из точки х в точку 0). Функцию

называется ценой, а стратегию а* - оптимальной, если = V (x) для всех х ∈ Е.

При довольно общих предположениях о множестве D устанавливается, что цена V (x) удовлетворяет следующему уравнению оптимальности (уравнению Беллмана):

,

где

.

В классе всех стратегий наибольший интерес представляют т. н. однородные марковские стратегии, характеризуемые одной функцией а (х) такой, что a_n (x₀,..., x_n) = a (x_n) при всех n = 0, 1,...

Следовательно, критерий оптимальности (или достаточное условие оптимальности) может быть использован для проверки того, что данная однородная марковская стратегия является оптимальной: пусть существуют функции a* = а*(х) и V* = V*(x) такие, что для любого d ∈ D

0 = f (x, a*(x)) + L^a*V*≤ f (x, d) + L^dV*(x)

(L^d = T^d - I, I - единичный оператор), тогда V* является ценой (V* = V) и стратегия α* = α*(х) является оптимальной.

Лит.: Ховард Р.-А., Динамическое программирование и марковские процессы, пер. с англ., М. 1964.

А. Н. Ширяев.

процесс (т. е. изменение во времени состояния некоторой системы), течение которого может быть различным в зависимости от случая и для которого определена вероятность того или иного его течения. Типичным примером С. п. может служить Броуновское движение; другими практически важными примерами являются турбулентные течения (См. Турбулентное течение) жидкостей и газов, протекание тока в электрической цепи при наличии неупорядоченных флуктуаций (См. Флуктуации) напряжения и силы тока (шумов) и распространение радиоволн при наличии случайных замираний (федингов) радиосигналов, создаваемых метеорологическими или иными помехами. К числу С. п. могут быть причислены и многие производственные процессы, сопровождающиеся случайными флуктуациями, а также ряд процессов, встречающихся в геофизике (например, вариации земного магнитного поля), физиологии (например, изменение биоэлектрических потенциалов мозга, регистрируемое на электроэнцефалограмме) и экономике.

Для возможности применения математических методов к изучению С. п. требуется, чтобы мгновенное состояние системы можно было схематически представить в виде точки некоторого фазового пространства (пространства состояний) R', при этом С. п. будет представляться функцией X (t) времени t со значениями из R. Наиболее изученным и весьма интересным с точки зрения многочисленных приложений является случай, когда точки R задаются одним или несколькими числовыми параметрами (обобщёнными координатами системы). В математических исследованиях под С. п. часто понимают просто числовую функцию X (t), могущую принимать различные значения в зависимости от случая с заданным распределением вероятностей для различных возможных её значений - одномерный С. п.; если же точки R задаются несколькими числовыми параметрами, то соответствующий С. п. X (t)={X₁(t), X₂(t),..., X_k (t)} называется многомерным.

Математическая теория С. п. (а также более общих случайных функций (См. Случайная функция) произвольного аргумента) является важной главой вероятностей теории (См. Вероятностей теория). Первые шаги по созданию теории С. п. относились к ситуациям, когда время t изменялось дискретно, а система могла иметь лишь конечное число разных состояний, т. е. - к схемам последовательности зависимых испытаний (А. А. Марков старший и др.). Развитие теорий С. п., зависящих от непрерывно меняющегося времени, является заслугой сов. математиков Е. Е. Слуцкого (См. Слуцкий), А. Н. Колмогорова и А. Я. Хинчина, американских математиков Н. Винера, В. Феллера и Дж. Дуба, французского математика П. Леей (См. Лей), швед. математика X. Крамера и др. Наиболее детально разработана теория некоторых специальных классов С. п., в первую очередь - марковских процессов (См. Марковский процесс) и стационарных случайных процессов (См. Стационарный случайный процесс), а также ряда подклассов и обобщений указанных двух классов С. п. (цепи Маркова, ветвящиеся процессы, процессы с независимыми приращениями, мартингалы, процессы со стационарными приращениями и др.).

Лит.: Марков А. А., Замечательный случай испытаний, связанных в цепь, в его кн.: Исчисление вероятностей, 4 изд., М., 1924; Слуцкий Е. Е., Избранные труды, М., 1960; Колмогоров А. Н., Об аналитических методах в теории вероятностей, "Успехи математических наук", 1938, в. 5, с. 5-41; Хинчин А. Я., Теория корреляции стационарных стохастических процессов, там же, с. 42-51; Винер Н., Нелинейные задачи в теории случайных процессов, пер. с англ., М., 1961; Дуб Дж., Вероятностные процессы, пер. с англ., М., 1956; Леви П., Стохастические процессы и броуновское движение, пер. с франц., М., 1972; Чандрасекар С., Стохастические проблемы в физике и астрономии, пер. с англ., М., 1947; Розанов Ю. А., Случайные процессы, М., 1971; Гихман И. И., Скороход А. В., Теория случайных процессов, т. 1-2, М., 1971-73.

А. М. Яглом.